“回避”一词第一次在刑法志中出现，是在《元史》中。那时的回避制度已经发展完善。除了诉讼回避外，还有一种任官回避制度。
任官回避制度草创于西汉时期。雄才大略的汉武帝刘彻，以其深邃的政治洞察力，敏锐地意识到了异地为官对维护中央集权，对防止裙带关系滋生、抑制盘根错节的地方势力的重要意义。到了东汉桓帝时期，中国第一个关于任官回避的成文法规“三互法”正式出台，就是“婚姻之家”和“两州之士”不得“对相监临”。以东汉官吏史弼为例，他本应出任山阳太守，但是他的妻子娘家，恰好在山阳辖内，于是史弼上书自陈应回避，被调任为平原相。
回避制度宋代被细化为籍贯回避、亲属回避、职务回避以及科举回避四类。
亲属回避的范围，比之东汉时期的姻亲回避有所扩大。位及人臣的中央大员，他们的子孙不得在京畿地区任要职。有大功以上的亲属关系的，如祖父和孙子，不能在同一部门工作。
职务回避则是指中央大员的亲属，不得担任监察官和谏官。古人讲究“百善孝为先”。言官与谏官因职责所在，难免会对朝廷施政进行弹劾。如果出现卑亲属弹劾尊亲属的情形，必然与礼不合。
科举回避是科举取士的必然结果。科举是寒门儒生通向仕途的华山路，因其意义重大，历史上的科场舞弊案层出不穷。为了保证科举的公正性，唐开元时代起，凡有与考官有亲故关系的考生，都必须回避他地，另行考试。到了宋代，“钟鼎之家”的子弟们在科举考试后，必须再加试一场，以示公允。
“千里当官只为财”，可以说是明清时期任官籍贯回避的最好写照。明清时期的回避制度更加严格。明朝规定“南人官北，北人官南”，只要想做官，就只能穿越半个中国。清朝法律略有缓和，只规定不得本省为官。一旦为官，便要拿着身份证明，到五百里之外的地方上任，称为“避籍”。这种避籍也存在一些问题。官员远赴他乡，异地为官，对于任职地的风俗很难事先了解，也可能会出现语言不通的现象，官吏治理必然存在困难。然而通过这样的办法，使官吏孑然一身，在辖地举目无亲，避免过多的社会关系造出人情网。
